KURZUS: Rendszer és irányítás

MODUL: II. modul: Az információ

3. lecke Az információelmélet, az információ mértéke és értelmezése

| Cél: A lecke célja, hogy a hallgató megismerje és megértse a információelmélet alapvető fogalmait és összefüggéseit, továbbá megismerje az információ-fogalomhoz kapcsolódó értelmezéseket. Az alapfogalmak a tananyag további részének elsajátítása során segítik azok részletesebb kifejtését, megértését.
Követelmények: Ön akkor sajátította el megfelelően a tananyagot, ha képes
definiálni az információelmélet alapfogalmait: információ, információmérték, entrópia ismeri az információelmélet alapvető összefüggéseit, meg tudja fogalmazni az információ fogalmát gyakorlati aspektusból.
Időszükséglet: A tananyag elsajátításához körülbelül 45 percre lesz szüksége.
Kulcsfogalmak
információ, kommunikáció, entrópia információmérték, Hartley, Shannon
1. Bevezetés
Bár az üzenettovábbítás nyilvánvaló célja, hogy üzeneteink megfelelő - érthető, feldolgozható - formában jussanak el a vevőhöz, az információelmélet a tartalomtól elvonatkoztat. Egyes kritikusok - főleg a társadalomtudományok területéről - éppen ezért vitatják, de a műszaki rendszert tekintve teljesen helytálló ez a megközelítés.
Mint korábban már szó volt róla, az információ mértékének vizsgálatával a XX. században kezdtek el komolyabban foglalkozni. Több szerző eredezteti az információelméletet a termodinamika talajáról, így L. E. Boltzmann (https://en.wikipedia.org/wiki/Ludwig_Boltzmann) kutatásait tkp. az információelmélet kiindulásának tekintik. Ezt alátámasztja többek között az információelméleti entrópia fogalmának bevezetése, amely szorosan kapcsolódik a termodinamikai entrópiához.
Nem menve bele most a tudományágak kapcsolatába és tudománytörténeti fejtegetésekbe - némileg önkényesen, bár nem minden alap nélkül - a téma tárgyalásánál R. V. L. Hartley (https://en.wikipedia.org/wiki/Ralph_Hartley) munkásságából indulunk ki.
Bár a jegyzetnek nem célja a téma teljes körű feltárása, azért - a teljesség igénye nélkül - meg kell említenünk néhány, az információelmélet létrejöttében és kidolgozásában jelentős szerepet vállaló - köztük több magyar - tudós -, így W. Weaver, C. E. Shannon, R. V. L. Hartley, N. Wiener, Szilárd Leó, Neumann János, H. Nyquist, A. N. Kolgomorov - nevét.
Az információelmélet az információ mérésével, kódolásával, dekódolásával foglalkozik, de figyelmen kívül hagyja a vizsgált információ tartalmát és jelentését. A hírt tartalmának jellegétől és jelentésétől elvonatkoztatva, kizárólag mennyiségi szempontból vizsgálja. Az információelméletet a hírközlő rendszerek matematikai elméletének tekinthetjük.
Az információelmélet az információt egy olyan feldolgozott adatnak tekinti, amely az azt fogadó bizonytalanságát csökkenti.
Ebben a modulban - illetve a leckében - nem foglalkozunk a kódolás - és dekódolás - témáival, célunk pusztán az információ - matematikai - fogalmának és tulajdonságainak megismerése.
Bár az információelmélet "atyjának" Shannont tekintjük - mint azt már jeleztük - többen és korábban is foglalkoztak az információ matematikai vizsgálatával. Közülük Hartley munkásságát emelnénk ki, akinek az információ mértékének meghatározására született eredményei alapvetően határozták meg Shannon e téren végzett kutatásait és eredményét.
2. A Hartley-féle információmérték
Hartley 1928-ban megjelent munkáját [4] a matematikai információelmélet első mérföldkőjének tekintik.
Hartley felvetése: hogyan lehetne mérni a távközlési rendszerekben továbbított információt? Döntő felismerése volt, hogy az információról, ahhoz, hogy mérni lehessen, le kell hámozni mindent, ami szubjektív, s ami végeredményben egy üzenetet az ember számára értékessé teszi. Vagyis nem az üzenet tartalma a fontos az információ mértékének mérése szempontjából, pusztán annak a fizikai formáját kell vizsgálni.
A közlési folyamat lényege - mint azt az előző leckében tárgyaltuk - hogy az adó a rendelkezésére álló jelkészletből rendre jeleket választ ki, azokból jelsorozatokat, üzeneteket állít össze.
Elképzelése szerint az adó véletlenszerűen választja ki a jeleket, és ugyancsak véletlenszerűen jelentkezik a csatornán a zaj. Feltételezése szerint a jelek előfordulási valószínűsége azonos, így az i-edik esemény bekövetkezési valószínűsége:
ρ( X i )= 1 n =k o n s t a n s
X={ x 0 , x 1 , x 2 … x i … x n }
ahol:
| X - a diszkrét kimenetű eseményekből álló eseménytér,
| n - az eseménytér diszkét eseményeinek (diszkrét kimeneteinek) a száma,
| X i - a tetszőleges i-edik esemény.
Az információ valójában a véges számú esemény közül annak az egynek a megnevezése, amelyik bekövetkezett. Úgy is felfoghatjuk, hogy mekkora a bizonytalanság a tekintetben, hogy az n lehetséges kimenet közül az i-edik jöjjön létre.
Az információ tehát megszünteti a fennálló bizonytalanságot, mértéke pedig egyenlő azzal a bizonytalansággal, amit megszüntet. (Az információ határozatlanságot szüntet meg. Ez az információ egyik általánosan elterjedt - nem matematikai - meghatározása ebből a tételből ered.)
A véges sok esemény esetén egy esemény bekövetkezésének mérésére - Hartley nyomán - logaritmus függvényt használunk.
Hartley szerint az információ mértéke:
I=l o g a n ,
illetve 2-es alapú logaritmust használva:
I=l d n
A továbbiakban az egyszerűség kedvéért 2-es alapú logaritmust (ld) használunk, de természetesen bármely alapú logaritmussal leírhatók az összefüggések.
3. Shannon és az entrópia
A Hartley-formula nem alkalmazható általánosan, mivel egy adott jelkészletben a jelek előfordulási valószínűsége nem feltétlenül azonos.
ρ( X i )≠k o n s t a n s
Ezt ismerte fel Shannon, és ennek megfelelően korrigálta a Hartley-formulát. Shannon szerint minél váratlanabb egy esemény bekövetkezése, annál nagyobb az információtartalma. Ez azt jelenti, hogy nagyobb előfordulási valószínűséghez, kisebb információtartalom tartozik. (ld. 1/2 alapú log függvény)
A Shannon-formulában az információmérték nem a jelek számával, hanem az előfordulás valószínűségével arányos. A kommunikációs kapcsolatban a hírforrás ui., mint sztochasztikus (véletlenszerű) kibernetikai rendszer működik. Állapotait véletlenszerűen veszi fel, s az eseményekről tudósító híreket véletlenszerűen sugározza (küldi).
Ha az n elemű X eseménytér - forrásABC - egyes elemeinek előfordulási valószínűsége p i, akkor az i-edik esemény bekövetkezésének - a p i valószínűségű forrásszimbólum kiválasztásának - egyedi információtartalma: [1]
I( X i )=l d 1 p i =−l d p i
X={ x 0 , x 1 , x 2 … x i … x n }
P{ A }={ p 0 , p, p 2 … p i … p n } , ∑ i p i =1 és p i ≠0
Az információtartalom mértékegysége függ az alkalmazott logaritmus-alaptól:
10-es alapú logaritmus esetén: Hartley 2-es alapú logaritmus esetén: Bit természetes logaritmus esetén: Nat
Átváltás információmérték mértékegységei között
| Hartley | Bit | Nat
Hartley | 1 | 3,322 | 2,302
Bit | 0,301 | 1 | 0,693
Nat | 0,434 | 1,433 | 1
1. táblázat
Általában a 2-es alapú logaritmust használjuk, így az információmérték mértékegysége többnyire a "bit".
Vegyük észre, hogy Hartley és Shannon képlet közötti különbséget csak a p i valószínűségek konstans, illetve változó volta okozza! Ha Shannon képletében az előfordulási valószínűséget konstansként kezeljük, akkor Hartley formuláját kapjuk.
Az eddig elmondottak az egyes hírek információmértékét határozzák meg. A valós kommunikációs kapcsolatban azonban a hírforrás egy sztochasztikus kibernetikai (a kibernetika fogalmát a 3. modulban tárgyaljuk) rendszerként működik, amely az állapotait véletlenszerűen veszi fel, és az eseményekről tudósító híreket véletlenszerűen küldi.
A forrás által adott időszakban kibocsátott átlagos információ mennyisége:
H=− ∑ i=1 n p i l d p i
Ezt az értéket forrásentrópiának hívjuk.
4. Az információelméleti és a hőtani entrópia hasonlósága
Az entrópia fogalma nem új keletű. 1865-ben R. Clausius a termodinamikai valószínűség mértékének jellemzőjeként vezette be. Shannon a két jellemző hasonlósága miatt, Neumann János javaslatára nevezte el az információmennyiség mértékét entrópiának. A tudományos életben e miatt számos kritika érte. Nyilván nem lehet célunk eldönteni ezt a vitát - bár ma már nem igazán van tere a tudományos életben - de azért érdemes áttekinteni a két rendszer hasonlóságát.
Egy zárt termodinamikai rendszer a különböző állapotait meghatározott valószínűséggel veszi fel. A lehetséges állapotok összességét - hasonlóan a hírközlési rendszerhez - a rendszer állapothalmaza jellemzi.
S={ x 1 , x 2 , x 3 … x i … x n }
Az állapotok termodinamikai valószínűsége szintén a hírközlési rendszernél megismerthez hasonlóan írható fel.
Ω={ ω 1 , ω 2 , ω 3 … ω i … ω n }
Az i-edik állapotban a zárt termodinamikai rendszer entrópiája:
S i =−k×l n ω i
k - az ún. Boltzman-állandó
5. Az információelméleti entrópia tulajdonságai
Az információelmélet szerint az információ egy elvont fogalom. Shannon szerint ui. a hírközlő rendszer feladata a forrás üzenetének pontos továbbítása a vevőhöz, illetve annak valamilyen közelítéssel történő reprodukálhatósága a vevőnél. A hírközléselmélet elvonatkoztat az üzenet jelentésétől, pusztán annak "fizikai" jellemzőire figyel.
A rendszer entrópiája a 0≤H≤l d n tartományban vehet fel értéket.
Az entrópia értéke 0, ha a hírforrás biztosan mindig ugyanazt a hírt sugározza. Vagyis: p i =1 , a több elem valószínűsége pedig 0, mivel ∑ ​ p 1 =1 . Ekkor a bizonytalanság mértéke 0. Az entrópia értéke maximális - l d n - ha az összes hír valószínűsége egyenlő. Ez esetben maximális a bizonytalanságunk a beérkező hírrel kapcsolatban.
Az entrópiát különböző összefüggésekben értelmezzük, így beszélünk:
bemeneti-, kimeneti- és együttes entrópiáról.
Az entrópia fajtái
1. ábra
H(X) A forrás átlagos betűnkénti információja - bemeneti entrópia. H(Y) A vevő átlagos betűnkénti információja - kimeneti entrópia. H(X,Y) A leadott és vett betűpáronkénti átlagos információ, az egész hírközlési rendszer bizonytalansága - együttes entrópia. H(Y|X) A vevőre vonatkozó bizonytalanság mértéke, ha a leadott jel ismert. Ez a csatornában lévő zajra vagy hibára utal. H(X|Y) A forrásra vonatkozó bizonytalanság mértéke, ha a vett jel ismert. A többértelműség mértékét jelzi.
A T(X,Y) az ún. tranz-információ, ez valójában a csatornán átvitt információ mértéke.
A fentiek alapján az információelméleti hatásfok pedig: η= I(X;Y) H(X;
Az entrópia tulajdonságai:
az entrópia nem negatív, az entrópiafüggvény folytonos közömbös az események sorrendjére, szimmetrikus, az összes "n" kimenettel rendelkező kísérlet közül annak az entrópiája nagyobb, ahol a kimenetek valószínűsége azonos.
Mivel informatikusként az entrópiával viszonylag kevés dolgunk lesz, így tovább nem részletezzük a témát.
6. Az információ hordozói - jelek
Akár távközlési rendszerről, akár egyéb kommunikációs formákról van szó, az üzeneteket jelek hordozzák. A jelek lehetnek:
analóg és digitális jelek. értelmezése, hogyan osztályozhatjuk a jeleket?
Az analóg jel egy időben és amplitúdó szerint egyaránt folyamatosan változó jel. Leginkább abban különbözik a digitális jeltől, hogy az apró ingadozásoknak, hullámzásoknak is van jelentésük. A digitális jel olyan jel, amelynek jelparamétere diszkrét értéktartományú jelekből áll.
Analóg jelek csoportosítása:
1. | determinisztikus jelek
periodikus jelek, harmonikus jelek, általános periodikus jelek. Nem periodikus jelek kváziperiodikus folyamatok, tranziens folyamatok.
2. | Nem determinisztikus jelek
stacionárius jelek, nem stacionárius jelek.
Digitális jelek lehetnek:
1. | Folytonos értéktartományú, időben folytonos jel.
2. | Diszkrét értéktartományú, időben folytonos jel.
3. | Folytonos értékű, diszkrét idejű jel.
4. | Diszkrét értékű, időben diszkrét jel.
7. Az információ funkcionális értelmezése
Az információelmélet számos területen - így az informatikában is - rendkívüli jelentőségű. Ugyanakkor az informatikai alkalmazásokban viszonylag ritkán szükséges elméleti szinten vizsgálnunk, sokkal inkább funkcionális megközelítésben fordul elő.
Mit jelent ez a funkcionalitás?
Már az első modulban is szó volt róla, hogy az információ a rendszerek létének - elemek közötti kapcsolat - és működésének - irányítás - az alapja. Az informatika által támogatott alkalmazási rendszerek a gazdaság és a társadalom működéséhez kötődnek, ezek működését hivatottak segíteni. Esetükben közömbös az információ matematikai mértéke, sokkal inkább lényeges, hogy a rendszerben és környezetében jelen levő számtalan adat és hír közül melyek azok, amelyek az adott rendszer működése és irányítása szempontjából szükséges.
Persze az információelmélet itt is "jelen van", csak nem egzakt, matematikai formájában. A funkcionális megközelítés alapja az, az információelméleti meghatározás, hogy az információ bizonytalanságot szüntet meg.
Norbert Wiener (https://en.wikipedia.org/wiki/Norbert_Wiener) amerikai matematikus szintén foglalkozott információelméleti kutatásokkal. Némileg más megközelítésben, ő statisztikai alapon értelmezte az információ mértékét. E területen - és sok máson - is jelentőset alkotott, nevét mégsem az információelmélettel kapcsolatban, hanem a kibernetika megteremtőjeként - atyjaként - szokás említeni. (A kibernetika rendszerek működésével, irányításával foglalkozik. A témát részletesen a 3. modulban tárgyaljuk.)
A kibernetikai rendszereknek viszont - mint minden rendszernek - "létszükséglete" a megfelelő információ. Az információ Shannoni-megközelítése nem veszi figyelembe az információ tartalmát - a rendszer működése szempontjából a hasznosságát - pusztán annak technikai aspektusát nézi.
Az információ funkcionális jelentését N. Wiener fogalmazta meg. Szerinte ahhoz, hogy egy hír - funkcionálisan információvá váljon, három feltételnek kell teljesülni.
1. | Egy szervezet működése során ki kell bocsátania - output.
2. | El kell jutnia egy másik szervezethez, és annak fel kell fogni - input.
3. | A fogadó szervezetnek a saját működése szempontjából értelmeznie kell és fel kell használni.
Vegyük észre, hogy e szerint ugyan az a hír egy szervezet számára információt képviselhet, más szervezetek számára viszont nem lesz információ.
Az információ funkcionális értelmezése
2. ábra
8. Az információ különféle értelmezései
Norbert Wiener: "Az információ az információ, nem anyag és nem energia. Az olyan materializmus, amely ezzel nem számol, nem aktuális többé" (1949). C.F. Weizsäcker: "Anyag, energia, információ. Végül is az anyag energiának, az energia pedig információnak bizonyul majd". (1968). Werner Gitt: Az információ- a harmadik alapmennyiség (1989). Tom Stonier: Az anyag, az energia és információ a Világegyetem három építőeleme és ezek egymásba átalakíthatók. (1993). Karl Steinbuch: "A klasszikus információelmélet egy olyan emberhez hasonlítható, aki egyenértékűnek tart egy kiló aranyat és egy kiló homokot." (1968). Warren Weaver:"Két hír [a Shannon-féle nézőpontból] egzaktul egyenértékűnek tekinthető, noha az egyik esetleg jelentésben gazdag, a másik pedig merő értelmetlenség." (1949). J.Peil: "Az információ nem fizikai vagy kémiai létező, mint az energia és az anyag, mégha hordozóként szüksége is van rájuk." H.J.Fletchner: "Egy jel előállítása valamilyen szellemi tartalom kódolása - arra nézve, hogy ez a szellemi tartalom jelentős vagy jelentéktelen, értékes, használható vagy értelmetlen-e, a jel nem tartalmaz semmit. Ilyen ítélet csak a vevőben lezajló hírfeldolgozási folyamat eredményeként születhet." (1969). Egyes nézetek szerint az információ hierarchikus szintek szerint rendezett, összetett fogalom. - Werner Gitt apobetika - az információ céljáról ill. eredményéről van szó. pragmatika - az elgondolt/véghezvitt cselekvést ragadja meg. szemantika - az információ jelentése szintaktika - kódolás statisztikai - az átvitel technikai vonatkozásai és az ezzel kapcsolatos statisztika adatok.
3. ábra
Összegzés
Az információ modern fogalma a hírközlés-technika megjelenésével függ össze. Első tudományos feltárását, elméletének kidolgozását a hírközlési rendszerek modellezésével a matematika végezte el, és ezzel létrejött a matematika egy új területe, az információelmélet. Az információelmélet mára számos tudományterület meghatározója lett, és ezekre az eredményekre épít számos gyakorlati terület is.
Informatikusként elsősorban nem az információ elméleti kérdéseivel foglalkozunk, de a gyakorlati alkalmazásokhoz ennek alapszintű ismerete elengedhetetlen.

| Ellenőrző kérdések
1. Kik voltak az információelmélet kidolgozásának jelentősebb személyiségei?
2. Rajzolja fel a Shannon-Weaver féle kommunikációs modellt, ismertesse az elemeit!
3. Mit jelent a "kódolás" fogalom, hogy osztályozzuk a kódrendszereket?
4. Ismertesse az üzenetküldés kódolási folyamatát!
5. Mi a feltétele a kód zavarállóságának, milyen lehetőségeink vannak a hibák kezelésére?
6. Mi a különbség Hartley és Shannon feltevése között?
7. A Shannon-formula segítségével ismertesse az entrópia fogalmát!
8. Mi a tranz-információ, hogy számítjuk az információelméleti hatásfokot?
9. Ismertesse az információtovábbítás során használt jeleket!
10. Ismertesse az információ funkcionális meghatározását!